近年来,通过编码签名距离的神经网络的隐式表面表示已获得流行,并获得了最先进的结果。但是,与传统的形状表示(例如多边形网格)相反,隐式表示不容易编辑,并且试图解决此问题的现有作品非常有限。在这项工作中,我们提出了第一种通过神经网络表达的签名距离函数有效互动编辑的方法,从而可以自由编辑。受到网格雕刻软件的启发,我们使用了一个基于刷子的框架,该框架是直观的,将来可以由雕塑家和数字艺术家使用。为了定位所需的表面变形,我们通过使用其副本来调节网络来采样先前表达的表面。我们引入了一个新型框架,用于模拟雕刻风格的表面编辑,并结合交互式表面采样和网络重量的有效适应。我们在各种不同的3D对象和许多不同的编辑下进行定性和定量评估我们的方法。报告的结果清楚地表明,我们的方法在实现所需的编辑方面产生了很高的精度,同时保留了交互区域之外的几何形状。
translated by 谷歌翻译
在本文中,我们介绍了一条神经渲染管道,用于将一个人在源视频中的面部表情,头部姿势和身体运动转移到目标视频中的另一个人。我们将方法应用于手语视频的具有挑战性的案例:给定手语用户的源视频,我们可以忠实地传输执行的手册(例如握手,棕榈方向,运动,位置)和非手术(例如,眼睛凝视,凝视,面部表情,头部移动)以照片真实的方式标志着目标视频。为了有效捕获上述提示,这些线索对于手语交流至关重要,我们以最近引入的最健壮和最可靠的深度学习方法的有效组合来建立。使用3D感知表示,将身体部位的估计运动组合并重新定位到目标签名者。然后将它们作为我们的视频渲染网络的条件输入,从而生成时间一致和照片现实的视频。我们进行了详细的定性和定量评估和比较,这些评估和比较证明了我们的方法的有效性及其对现有方法的优势。我们的方法产生了前所未有的现实主义的有希望的结果,可用于手语匿名。此外,它很容易适用于重新制定其他类型的全身活动(舞蹈,表演,锻炼等)以及手语生产系统的合成模块。
translated by 谷歌翻译
由于深度学习的出现,图像数据的最新技术对单眼3D面对重建的重建取得了令人印象深刻的进步。但是,它主要集中于来自单个RGB图像的输入,忽略以下重要因素:a)如今,感兴趣的绝大多数面部图像数据不是来自单个图像,而是来自包含丰富动态信息的视频。 。 b)此外,这些视频通常以某种形式的口头交流捕捉个人(公众对话,电视会议,视听人类计算机的互动,访谈,电影中的独白/对话等)。当在此类视频中应用现有的3D面部重建方法时,重建口腔区域的形状和运动中的伪影通常很严重,因为它们与语音音频不太匹配。为了克服上述局限性,我们提出了3D口表达的视觉语音感知重建的第一种方法。我们通过提出“口语”损失来做到这一点,该损失指导拟合过程,从而使3D重建的说话头的感知与原始录像相似。我们证明,有趣的是,与传统的具有里程碑意义的损失,甚至直接3D监督相比,口头损失更适合3D重建嘴运动。此外,设计的方法不依赖于任何文本转录或相应的音频,因此非常适合在未标记的数据集中培训。我们通过对三个大规模数据集的详尽客观评估以及通过两种基于网络的用户研究进行主观评估来验证方法的效率。
translated by 谷歌翻译
在本文中,我们介绍了一种新颖的深入学习方法,用于“野外”视频中演员的情绪状态的光学逼真操纵。所提出的方法基于输入场景中的演员的参数3D面表示,其提供来自头部姿势和面部表达的面部身份的可靠性解剖。然后,它使用新的深度域翻译框架,以符合他们的动态,以一致而合理的方式改变面部表情。最后,改变改变的面部表情用于基于特别设计的神经面渲染器光实际地操纵输入场景中的面部区域。据我们所知,我们的方法是第一个能够通过唯一用作操纵情绪的语义标记来控制演员的面部表情,同时保持与语音相关的唇部运动。我们进行广泛的定性和定量评估和比较,展示了我们的方法的有效性以及我们获得的特别有希望的结果。我们的方法为神经渲染技术的有用应用开辟了一种新的可能性,从电影后生产和视频游戏到照片逼真的情感化身。
translated by 谷歌翻译
The deep neural network (DNN) models for object detection using camera images are widely adopted in autonomous vehicles. However, DNN models are shown to be susceptible to adversarial image perturbations. In the existing methods of generating the adversarial image perturbations, optimizations take each incoming image frame as the decision variable to generate an image perturbation. Therefore, given a new image, the typically computationally-expensive optimization needs to start over as there is no learning between the independent optimizations. Very few approaches have been developed for attacking online image streams while considering the underlying physical dynamics of autonomous vehicles, their mission, and the environment. We propose a multi-level stochastic optimization framework that monitors an attacker's capability of generating the adversarial perturbations. Based on this capability level, a binary decision attack/not attack is introduced to enhance the effectiveness of the attacker. We evaluate our proposed multi-level image attack framework using simulations for vision-guided autonomous vehicles and actual tests with a small indoor drone in an office environment. The results show our method's capability to generate the image attack in real-time while monitoring when the attacker is proficient given state estimates.
translated by 谷歌翻译
Pre-trained Transformers currently dominate most NLP tasks. They impose, however, limits on the maximum input length (512 sub-words in BERT), which are too restrictive in the legal domain. Even sparse-attention models, such as Longformer and BigBird, which increase the maximum input length to 4,096 sub-words, severely truncate texts in three of the six datasets of LexGLUE. Simpler linear classifiers with TF-IDF features can handle texts of any length, require far less resources to train and deploy, but are usually outperformed by pre-trained Transformers. We explore two directions to cope with long legal texts: (i) modifying a Longformer warm-started from LegalBERT to handle even longer texts (up to 8,192 sub-words), and (ii) modifying LegalBERT to use TF-IDF representations. The first approach is the best in terms of performance, surpassing a hierarchical version of LegalBERT, which was the previous state of the art in LexGLUE. The second approach leads to computationally more efficient models at the expense of lower performance, but the resulting models still outperform overall a linear SVM with TF-IDF features in long legal document classification.
translated by 谷歌翻译
在软件开发过程中,开发人员需要回答有关代码语义方面的查询。即使已经用神经方法进行了广泛的自然语言研究,但尚未探索使用神经网络对代码回答语义查询的问题。这主要是因为没有现有的数据集,具有提取性问答和答案对,涉及复杂概念和较长推理的代码。我们通过构建一个名为Codequeries的新的,策划的数据集并提出了一种关于代码的神经问题方法来弥合这一差距。我们基于最先进的预训练的代码模型,以预测答案和支持事实跨度。给定查询和代码,只有一些代码可能与回答查询有关。我们首先在理想的环境下进行实验,其中仅给出了模型的相关代码,并表明我们的模型做得很好。然后,我们在三个务实的考虑因素下进行实验:(1)扩展到大尺寸的代码,(2)从有限数量的示例中学习,(3)代码中对次要语法错误的鲁棒性。我们的结果表明,虽然神经模型可以抵御代码中的次要语法错误,代码的大小增加,与查询无关的代码的存在以及减少的培训示例数量限制了模型性能。我们正在释放数据和模型,以促进未来关于回答代码语义查询的问题的工作。
translated by 谷歌翻译
一致性检查技术使我们能够评估某些表现出的行为,以一系列受监视的事件表示,符合指定的过程模型。现代监测和活动识别技术,例如依靠传感器,物联网,统计和AI的技术,可以产生大量相关的事件数据。但是,与符合检查算法所需的确定性事件对数的假设相反,该数据通常以噪声和不确定性为特征。在本文中,我们将基于对齐的一致性检查扩展到概率事件日志下的功能。我们介绍了一个概率痕量模型和对齐成本函数,以及一个自定义阈值参数,该参数控制事件数据与过程模型的信任水平。与传统比对相比,在存在足够高的可能性的对齐事件的情况下,所得算法得出的适应性得分提高,因此假阳性偏差较少。我们从形式和直观的角度来解释算法及其动机,并与使用一组理论示例相比,证明了其功能与确定性对齐相比。
translated by 谷歌翻译
在这项工作中,我们为点击率(CTR)预测引入了一个增量学习框架,并证明了其对Taboola大规模推荐服务的有效性。我们的方法可以通过从先前部署的模型中进行热烈启动并仅对“新鲜”数据进行微调来快速捕捉新兴趋势。过去的知识是通过教师范式维护的,教师充当蒸馏技术,减轻灾难性的遗忘现象。我们的增量学习框架可以显着更快地训练和部署周期(X12加速)。我们证明,每毫米(RPM)在多个交通段中的收入一致,新引入的物品的CTR大幅增加。
translated by 谷歌翻译
如今,我们生活在一个极端的异质性时代。尽管传统的CPU架构种类繁多,但GPU和FPGA等加速器设备也出现在前景中,爆炸了可用解决方案池以执行应用程序。但是,由于硬件和软件之间的抽象关系,每个应用程序需求选择适当的设备是一项极具挑战性的任务。需要准确的自动优化算法才能应对当前硬件和软件的复杂性和多样性。最佳执行始终依赖于耗时的试验和错误方法。在过去的十年中,机器学习(ML)和自然语言处理(NLP)蓬勃发展,研究重点是深度建筑。在这种情况下,使用自然语言处理技术来源代码以进行自动调整任务是一个新兴的研究领域。在本文中,我们扩展了Cummins等人的工作,即DeepTune,该工作解决了加速OpenCL内核的最佳设备选择(CPU或GPU)的问题。我们确定了DeepTune的三个主要局限性,并基于这些局限性,我们提出了四个不同的DNN模型,可提供增强的源代码上下文信息。实验结果表明,我们提出的方法超过了康明斯等人的方法。工作,预测准确性最多可提高4%。
translated by 谷歌翻译